GistRank: Gist-Compressed Listwise Ranking with Large Language Models
GistRank：基于 Gist 压缩的大模型列表级排序
🧭 LLM listwise 重排 · Gist 压缩 ★ 深度解读
Southwest University · Renmin University of China · Yuanbao Team, Tencent · Institute of Computing Technology, Chinese Academy of Sciences
用三阶段训练将每个候选段落压成4个gist token，在TREC/BEIR上以约14倍加速逼近全文本重排效果
📌 工作参考价值（4 点）
- 把商品标题/详情/卖点用 Stage 1 的 query 预测目标预训练成 4 个 gist token，线上重排只拼接 gist，可将 100 个候选的 prompt 从 8k+ token 降到约 1.25k，延迟和 KV cache 占用大幅下降
- 借鉴 Stage 2 的 citation/click 偏好：在电商搜索中可用点击 vs 曝光、成交 vs 点击构造成对数据，训练 gist 或 item 表示具备判别性，无需昂贵人工标注；再用少量人工/LLM 标注做 Stage 3 listwise 微调
- 用 rank-slot + ListMLE 非自回归打分替代 LLM 自回归生成排序，可以把排序阶段从生成式 token 序列变成一个固定大小的打分矩阵，吞吐更稳定，适合在线 serving
- 注意成本结构：候选压缩占 90%+ 延迟，优先考虑对全量商品库离线预计算 query-independent gist 或做近似缓存，只在线对当前 query 做轻量融合/重排序